在本文中，我们考虑了通过风险最小化监督学习中变异模型的问题。我们的目标是通过双层优化和通过算法展开对学习变异模型的两种方法进行更深入的了解。前者将变分模型视为低于风险最小化问题的较低级别优化问题，而后者将较低级别优化问题替换为解决上述问题的算法。两种方法都在实践中使用，但是从计算的角度来看，展开要简单得多。为了分析和比较两种方法，我们考虑了一个简单的玩具模型，并明确计算所有风险和各自的估计器。我们表明，展开可能比双重优化方法更好，而且展开的性能可以显着取决于进一步的参数，有时会以意外的方式：虽然展开的算法的步骤大小很重要，但展开的迭代数量只有很重要如果数字是偶数或奇数，并且这两种情况截然不同。

Brain-inspired computing proposes a set of algorithmic principles that hold promise for advancing artificial intelligence. They endow systems with self learning capabilities, efficient energy usage, and high storage capacity. A core concept that lies at the heart of brain computation is sequence learning and prediction. This form of computation is essential for almost all our daily tasks such as movement generation, perception, and language. Understanding how the brain performs such a computation is not only important to advance neuroscience but also to pave the way to new technological brain-inspired applications. A previously developed spiking neural network implementation of sequence prediction and recall learns complex, high-order sequences in an unsupervised manner by local, biologically inspired plasticity rules. An emerging type of hardware that holds promise for efficiently running this type of algorithm is neuromorphic hardware. It emulates the way the brain processes information and maps neurons and synapses directly into a physical substrate. Memristive devices have been identified as potential synaptic elements in neuromorphic hardware. In particular, redox-induced resistive random access memories (ReRAM) devices stand out at many aspects. They permit scalability, are energy efficient and fast, and can implement biological plasticity rules. In this work, we study the feasibility of using ReRAM devices as a replacement of the biological synapses in the sequence learning model. We implement and simulate the model including the ReRAM plasticity using the neural simulator NEST. We investigate the effect of different device properties on the performance characteristics of the sequence learning model, and demonstrate resilience with respect to different on-off ratios, conductance resolutions, device variability, and synaptic failure.

收集和注释面向任务的对话框数据很困难，尤其是对于需要专家知识的高度特定领域。同时，非正式的沟通渠道（例如即时使者）在工作中越来越多地使用。这导致了许多与工作相关的信息，这些信息通过这些渠道传播，需要由员工进行后处理。为了减轻这个问题，我们提出了TexPrax，这是一种消息传递系统，以收集和注释与工作有关的聊天中发生的问题，原因和解决方案。 TexPrax使用聊天机器人直接吸引员工，以提供对话的轻量级注释并简化文档工作。为了遵守数据隐私和安全法规，我们使用端到端消息加密，并使用户完全控制其数据，该数据比常规注释工具具有各种优势。我们与德国工厂员工一起在用户研究中评估TexPrax，他们要求同事提供有关日常工作中出现的问题的解决方案。总体而言，我们收集201个面向任务的德语对话，其中包含1,027个句子，并带有句子级专家注释。我们的数据分析还表明，现实世界对话经常包含具有代码转换，对同一实体的缩写的实例，以及NLP系统应该能够处理的方言。

我们提出了一种算法，以估计反向和前向kullback-leibler差异的路径梯度，以明显可逆地归一流。与标准的总梯度估计器相比，所得的路径梯度估计器可直接实施，具有较低的差异，不仅可以提高训练的速度更快，而且导致总体近似结果更好。我们还证明，路径梯度训练不太容易受到模式折叠的影响。鉴于我们的结果，我们期望路径梯度估计器将成为训练归一化流量的新标准方法。

图形匹配优化问题是计算机视觉中许多任务的重要组成部分，例如在通信中带来两个可变形对象。自然，在过去的几十年中，已经提出了广泛的适用算法。由于尚未开发出通用的标准基准，因此由于对不同的问题实例的评估和标准使结果无与伦比，因此通常很难验证其绩效主张。为了解决这些缺点，我们提出了匹配算法的比较研究。我们创建了一个统一的基准测试标准，在其中收集和分类了一组现有和公开可用的计算机视觉图形匹配问题，以通用格式。同时，我们收集和分类图形匹配算法的最流行的开源实现。它们的性能以与比较优化算法的最佳实践相符的方式进行评估。该研究旨在可再现和扩展，以作为未来的宝贵资源。我们的研究提供了三个值得注意的见解：1。）流行问题实例在少于1秒的时间内完全可以解决，因此不足以进行将来的经​​验评估； 2.）最受欢迎的基线方法高于最佳可用方法； 3.）尽管该问题存在NP硬度，但即使对于具有超过500个顶点的图形，也可以在几秒钟内求解来自视力应用程序的实例。

目的：将人工智能（AI）作为第二读者比较胸部X射线（CXR）与两个双性机构的放射科医生的第二读者，并在使用两种不同的模式时评估AI性能：审查）。方法：分析了日本放射科学学会的CXR公共数据库（n = 247），具有各种类型和大小的肺结节。八位放射科医生评估了CXR图像关于肺结节和结节象征的存在。在放射科医生审查之后，AI软件以最高的结节可能性处理并标记了CXR。计算出的精度指标是曲线下的面积（AUC），灵敏度，特异性，F1分数，虚假案例数（FN）以及不同AI模式（自动/辅助）对结节检测准确性的影响。结果：对于放射科医生而言，平均AUC值为0.77 $ \ pm $ 0.07，而平均FN为52.63 $ \ pm $ 17.53（所有研究）和32 $ \ pm $ 11.59（研究包含一个恶性病理的研究= 32％错过的恶性结节的速率）。 AI模式（自动化和辅助）均可平均提高灵敏度（提高14％和12％）和F1得分（5％和6％）和特异性的降低（分别为10％和3％） ）。结论：两种AI模式都标记了放射科医生在大量病例中错过的肺结节。 AI作为第二读者具有提高诊断准确性和放射学工作流程的高潜力。 AI可能比放射科医生早期检测到某些肺结核，对患者预后产生了潜在的显着影响。

最近的工作已经为简单的高斯分布建立了一个路径梯度估计量，并认为该路径梯度在变化分布接近确切目标分布的状态下尤其有益。但是，在许多应用中，这种制度无法通过简单的高斯分布来达到。在这项工作中，我们通过提出一个途径梯度估计量来克服这一关键限制，以使连续归一化流的表达性变异家族更加表现力。我们概述了一种有效的算法来计算该估计器并通过经验建立其出色的性能。

小规模过程的建模是气候模型中的主要误差来源，阻碍了低成本模型的准确性，必须通过参数化近似此类过程。红噪声对于许多操作参数化方案至关重要，有助于建模时间相关性。我们通过将随机性的已知好处与机器学习相结合，展示了如何基于红噪声的成功。这是在概率框架内使用物理信息的复发性神经网络完成的。当应用于Lorenz 96大气模拟时，我们的模型具有竞争力，通常优于定制基线和现有的概率机器学习方法（GAN）。这是由于其与标准一阶自回旋方案相比，它具有较高的时间模式的能力。这也是看不见的场景。我们评估了文献中的许多指标，还讨论了使用持有可能性的概率度量的好处。

机器学习算法必须能够有效地应对大量数据集。因此，他们必须在任何现代系统上进行良好的扩展，并能够利用独立于供应商的加速器的计算能力。在监督学习领域，支持向量机（SVM）被广泛使用。但是，即使是现代化和优化的实现，例如LIBSVM或ThunderSVM对于尖端硬件的大型非平凡的密集数据集也不能很好地扩展：大多数SVM实现基于顺序最小优化，这是一种优化的固有顺序算法。因此，它们不适合高度平行的GPU。此外，我们不知道支持不同供应商的CPU和GPU的性能便携式实现。我们已经开发了PLSSVM库来解决这两个问题。首先，我们将SVM的配方作为最小二乘问题。然后训练SVM沸腾以求解已知高度平行算法的线性方程系统。其次，我们提供了一个独立但高效的实现：PLSSVM使用不同的可互换后端 - openmp，cuda，opencl，sycl-支持来自多个GPU的NVIDIA，AMD或INTEL等各种供应商的现代硬件。 PLSSVM可以用作LIBSVM的倒入替换。与LIBSVM相比，与ThunderSVM相比，我们观察到高达10的CPU和GPU的加速度。我们的实施量表在多核CPU上缩放，并在多达256个CPU线程和多个GPU上平行加速为74.7，在四个GPU上的并行加速为3.71。代码，实用程序脚本和文档都可以在GitHub上获得：https：//github.com/sc-sgs/plssvm。

增强业务流程管理系统（ABPMS）是一类新兴的过程感知信息系统，可利用值得信赖的AI技术。ABPMS增强了业务流程的执行，目的是使这些过程更加适应性，主动，可解释和上下文敏感。该宣言为ABPMS提供了愿景，并讨论了需要克服实现这一愿景的研究挑战。为此，我们定义了ABPM的概念，概述了ABPMS中流程的生命周期，我们讨论了ABPMS的核心特征，并提出了一系列挑战以实现具有这些特征的系统。